跳到主要内容

OpenVLA-OFT:把 OpenVLA 的微调改快改准

论文:Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success(Stanford,2025)。这篇不引入新模型,只讨论一个具体问题:给一个训好的 OpenVLA,怎么在下游任务上微调得又快又准。作者的答案是三个设计——并行动作解码、动作分块、连续动作表示——组合起来推断快 25 倍,成功率还更高。

1. 原版 OpenVLA 微调的三个问题​

原版 OpenVLA 的动作输出方式是 RT-2 那一套:每个动作维度离散化成 256 bin,自回归生成 7 个 token。这个设计在预训练阶段没问题,但用到下游微调时暴露三个问题。

问题一:自回归推断慢。7 个 token 需要 7 次前向传播,在 RTX 4090 上 OpenVLA 大约 6 Hz。对 50Hz 的双臂精细任务完全不够。

问题二:单步动作没有时序一致性。OpenVLA 每次只预测下一步动作,跟 ACT 的 action chunking 相比缺少块内协调。相邻步的动作是独立生成的,容易抖动。

问题三:离散化限制精度。256 bin 对 30cm 位移是 1.2mm 精度,对精细任务不够;对全局 workspace 更粗。

OFT(Optimized Fine-Tuning)针对每一点提出对应改动。

2. 三个设计​

2.1 并行动作解码​

自回归的问题在于每个 token 必须看前面所有 token 才能生成。但机器人动作 7 个维度之间的依赖关系其实很弱——Δx\Delta x 和 Δy\Delta y 大部分时候是并行采样的,不需要严格按顺序。

OFT 的做法是把动作输出改成并行解码:一次前向传播同时输出 7 个动作维度(对整个动作块也一样)。具体实现是把动作位置全部换成"预测占位符 token",让模型的最后一层同时输出所有位置的动作预测,而不是自回归展开。

这个改动本身不损失多少精度,但推断步数从 7 降到 1,直接快 7 倍。

2.2 动作分块​

沿用 ACT 和 π0 的思路:一次预测 kk 步动作(k=8k = 8 或 1616),执行前几步之后再重新推断。

分块的两个好处:

  • 摊销推断成本:一次前向出 kk 步动作,等效推断频率是 k×k \times 原始频率
  • 时序一致性:块内动作用同一次前向的表征生成,相邻步更协调,抖动减少

结合并行解码,一次前向能同时输出 k×7k \times 7 个动作值。

2.3 连续动作表示​

放弃 256 bin 离散化,直接让模型输出连续实数,用 L1 损失训练:

L=∥a^−a∥1\mathcal{L} = \|\hat{a} - a\|_1

L1 比 L2 更抗离群值,作者选它是经验选择。连续表示的好处是:

  • 精度不受 bin 数量限制,可以做到亚毫米
  • 不需要反量化步骤,输出即执行
  • 训练损失更平滑,收敛更稳

有个反直觉的地方:OpenVLA 预训练时用的是离散 token 交叉熵,微调时切到连续输出加 L1 损失,等于把动作头彻底换掉。为什么这样也能训好?作者的解释是 VLM 骨干学到的视觉-语言表征跟动作头解耦,只要新动作头有足够梯度信号,几百 step 就能对齐。

2.4 OFT+:加一个 FiLM 语言条件​

在 OFT 基础上,OFT+ 加了一个 FiLM 层,用语言嵌入调制视觉特征——这是从 RT-1 借来的技巧。目的是当同一个场景下语言指令不同("拿可乐" vs "拿雪碧")时,让语言更强地影响视觉表征,而不是让语言 token 淹没在视觉 token 里。

3. 实验结果​

LIBERO 仿真上的四个变体​

版本长时程成功率推断频率
OpenVLA 原版76%6 Hz
+ 并行解码78%42 Hz
+ 动作分块(k=8)92%20 Hz(实际每步频率)
+ 连续动作(OFT)97%20 Hz
OFT+(加 FiLM)97%20 Hz

三个改动叠加起来长任务成功率从 76% 到 97%,推断速度增加约 25 倍。

真实机器人(ALOHA 双臂折毛巾)​

方法成功率
OpenVLA 原版12%
OpenVLA + LoRA 微调34%
OFT78%
OFT+83%

ALOHA 是 50Hz 的高频双臂平台,OpenVLA 原版基本没法用(6 Hz),OFT 通过并行解码 + 分块把有效频率拉到 50Hz+ 才让这个任务可行。

消融:三个改动的独立贡献​

配置LIBERO 平均
原版(离散 + 自回归 + 单步)76%
换连续动作82%
加并行解码85%
加动作分块97%
全都加97%

三个改动都有独立贡献,但动作分块的贡献最大(+12 分)。这跟 ACT 的消融结论一致:分块是模仿学习里最有效的单一改动。

4. 局限​

OFT 只在下游微调阶段用。如果要预训练一个新 VLA,还是得用离散 token 交叉熵(连续 L1 在多任务预训练上稳定性不够,作者也没试)。

L1 损失不能建模多模态动作分布——这是回到了 Diffusion Policy 里指出的问题。作者的立场是:下游微调阶段任务比较窄,多模态问题不严重,用 L1 换来的速度和精度收益更值。对于预训练或者多任务通用策略,还是应该用扩散或流匹配。

FiLM 层的收益(OFT vs OFT+)在多数任务上只有 0–2 分,加它主要是对"语言重要而视觉难区分"的任务(比如"拿颜色是蓝色的杯子")有帮助,普通任务可以不加。

5. OFT 在整个 VLA 优化谱系里的位置​

VLA 优化这几年基本沿三条线走:

  • 模型层面:换动作头。RT-2 → π0(流匹配)、Octo(扩散)
  • 数据层面:更多更好的数据。Open X-Embodiment、DROID
  • 推断层面:让同一个模型跑得更快。OFT(并行 + 分块)、π0-FAST(DCT + BPE token)

OFT 是第三类的代表。它的核心贡献不是新算法,而是把几个成熟技巧(分块、并行、连续输出)系统地组合到 OpenVLA 上并验证效果。对于工程实践者,这几乎是把 OpenVLA 用起来的默认配置。

代码见 moojink/openvla-oft。